Địa hình chủ yếu của Sơn Đông là đồng bằng. Tây bắc bộ, tây bộ, tây nam bộ của tỉnh đều là một bộ phận của bình nguyên Hoa Bắc rộng lớn. Trung bộ Sơn Đông có địa hình núi non hơn, trong đó Thái Sơn được biết đến nhiều nhất. Đông bộ Sơn Đông là bán đảo Sơn Đông nhiều đồi núi kéo dài ra đến biển; bán đảo này tách Bột Hải ở phía tây bắc với Hoàng Hải ở phía đông và nam. Đỉnh cao nhất ở Sơn Đông là đỉnh Ngọc Hoàng thuộc Thái Sơn với cao độ 1.545 mét (5.069 ft).

Hoàng Hà chảy qua tây bộ Sơn Đông, đổ ra biển ở vùng bờ biển bắc bộ Sơn Đông; đoạn sông chảy qua Sơn Đông được đắp đê hai bên, do bồi tích trong một thời gian dài nên lòng sông cao hơn các khu vực đất đai ngoài đê, ngoài ra một số vùng ở tây bộ Sơn Đông cũng thuộc lưu vực Hải Hà ở phía bắc và lưu vực Hoài Hà ở phía nam. Đại Vận Hà đi vào Sơn Đông ở phía tây bắc và tây nam. Hồ Vi Sơn (微山湖) là hồ lớn nhất Sơn Đông, với diện tích 1266 km². Chiều dài đường bờ biển của Sơn Đông là khoảng 3.000 kilômét (1.900 mi). Bán đảo Sơn Đông có một đường bờ biển nhiều đá với các vách đá, vịnh và hải đảo. Vịnh Lai Châu là vịnh cực nam trong ba vịnh lớn của Bột Hải, nằm ở phía bắc bán đảo, giữa Đông Dinh và Bồng Lai. Vịnh Giao Châu nhỏ hơn nhiều vịnh Lai Châu, nằm ở phía nam bán đảo, cạnh Thanh Đảo. Quần đảo Trường Sơn (长山列岛) kéo dài về phía bắc từ bờ biển phía bắc của bán đảo.

Sơn Đông có khí hậu ôn hòa, nằm ở vùng chuyển giao giữa khí hậu cận nhiệt đới ẩm (Cwa theo phân loại khí hậu Köppen) và khí hậu lục địa ẩm (Köppen Dwa) với bốn mùa phân biệt. Mùa hè nóng và mưa nhiều (ngoại trừ một vài khu vực ven biển), trong khi mùa đông lạnh và khô. Nhiệt độ trung bình của Sơn Đông là −5 đến 1 °C (23 đến 34 °F) vào tháng 1 và 24 đến 28 °C (75 đến 82 °F) vào tháng 7. Lượng mưa bình quân là 550 đến 950 milimét (22 đến 37 in), phần lớn là vào những tháng mùa hè, do ảnh hưởng của gió mùa.

Sơn Đông là một phần của khối phía Đông thuộc nền cổ Hoa Bắc. Bắt đầu vào Đại Trung sinh, Sơn Đông đã trải qua một quá trình mỏng hóa vỏ trái đất, một điều khác thường của một nền cổ và nó đã khiến lớp vỏ trái đất giảm từ 200 km xuống còn 80 km. Sơn Đông do đó đã từng chịu các ảnh hưởng kéo dài của núi lửa trong Phân đại Đệ Tam. Một số thành hệ địa chất tại Sơn Đông có nhiều hóa thạch. Ví dụ như tại Chư Thành ở đông nam bộ Sơn Đông, người ta đã phát hiện ra nhiều hóa thạch khủng long. Một phát hiện lớn đã tìm được 7.600 xương khủng long, bao gồm hài cốt của tyrannosaurus và ankylosaurus, được công bố vào năm 2008, và được cho là bộ sưu tập lớn nhất từng được phát hiện.[11]